A Voice-Interactive Multi-Agent System for Smart Operating Rooms: Architecture Design and Key Technologies
面向智能手术室的语音交互多智能体系统：架构设计与关键技术
🧭 多智能体语音交互 · KV Cache 优化
Wuhan United Imaging Surgical Co., Ltd. (UIS)
用 LLM 多智能体实现手术室语音控制与报告生成，重点优化 KV Cache 前缀复用、流式解析并行执行与渐进式提示披露
📌 工作参考价值（4 点）
- KV Cache prefix warming 可直接用于 Agent 长 system prompt 或设备状态频繁变化场景：将稳定的前缀（角色定义、技能列表、历史上下文）缓存，每次请求只重算变化部分。对电商导购 Agent，用户切换商品详情或筛选条件时，不必重算整个对话前缀，可把首字延迟从几百毫秒降到几十毫秒。
- 流式 partial JSON 解析 + 提前并行执行是降低端到端时延的有效工程 trick：LLM 以流式输出任务数组时，不用等完整 JSON 结束，解析到单个完整任务对象就立即调度执行。对广告文案批量生成、多商品并行推荐解释、多工具调用编排，能带来约 30% 的时延下降。
- 渐进式技能提示披露适合工具多的 Agent 系统：按用户角色、可用设备/工具、当前阶段动态裁剪 system prompt，只保留当前上下文最相关的技能说明。电商场景可复用为：按用户等级、可用的推荐/营销工具、会话阶段动态注入工具 schema，避免上下文浪费，提升长会话下的指令跟随稳定性。
- 多智能体架构与设备管理层解耦，可参考其 skill registry、task planner、device manager 的分层设计，在推荐系统中把“用户意图理解”“策略编排”“召回/排序执行”拆成独立模块，便于管控和低延迟并行执行。